Agentic Chain-of-Thought Steering for Efficient and Controllable LLM Reasoning
智能体思维链转向：高效可控的 LLM 推理框架
🧭 LLM 推理控制 · 预算自适应策略转向 ★ 深度解读
University of California San Diego · Intuit AI Research
将推理过程建模为马尔可夫决策过程，用可训练的控制器代理在推理过程中动态选择策略和转向短语，实现预算感知的高效思维链转向
📌 工作参考价值（4 点）
- 分步导向的推理控制可迁移到多步业务任务：电商场景中的复杂客服、多轮谈判、商品对比推荐等需要长链推理的任务，可以采用类似的控制器-推理器架构，将推理过程分解为可引导的步骤（理解、规划、执行、检查、总结），在每一轮通过轻量级控制器选择最优策略短语，在保持答案质量的同时大幅降低 token 开销。
- 预算条件奖励塑形设计可控制生成长度与成本：论文提出的非对称奖励函数（正确但超预算降分，错误但未用尽预算加重惩罚）可直接用于推荐系统中的生成式文案或解释生成，通过设定 token 预算实现质量与成本的精细权衡，避免长而不实的输出或过早截断导致错误。
- 异步控制器-推理器部署架构降低延迟：将控制器与推理器部署为独立的 SGLang 服务器并通过异步 HTTP 通信，可以实现与直接批量推理相仿的吞吐量，这一架构可借鉴到在线推荐系统的多智能体编排中，以低延迟实现复杂的多步决策。
- 可解释的节省来源分解支持精准优化：论文将 token 节省区分为缩短正确答案、挽救错误尝试、提前终止错误路径等类型，业务系统可借鉴这种分类来定位推理环节的冗余部分，有针对性地优化推理策略，如减少不必要的验证轮次。